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摘 要 : 针对 现 有 卷 积 神经 网 络 图 像 超 分 辨认 复 原 算法 中 的 映射 沪 数 容易 出 现 过 学 习 、 损 失态 数 的 收 化 性 不 足 等 问 
题 ,通过 结合 现 有 的 视觉 识别 算法 和 深度 学 习 理论 对 其 提出 改进 。 首 先 将 原 有 SRCNN 网 络 层 数 从 3 层 提高 到 13 层 ， 
并 提出 一 种 自 门 控 激 活 函 数 形 式 Swish， 代 替 以 往 网 络 模型 常用 的 Sigmoid、ReLU 等 激活 函数 ， 充 分 利用 0 
数 的 优势 ， 有 效 避 和 免 了 过 拟 合 问 题 ， 更 好 地 去 学 习 利 用 低 分 辨 率 到 高 分 辨 率 图 像 之 间 的 映射 关系 指导 图 像 重建 ; 

后 在 传统 的 网 络 损失 函数 中 引入 Newton-Raphson 迭代 法 的 理论 ， 进 一 步 加 快 了 收敛 速度 。 tah 
进 的 卷 积 神 经 网 络 模型 能 够 有 效 改 善 图 像 的 清晰 度 ， 并 在 主观 的 视觉 效果 和 客观 的 参数 评价 指标 上 有 了 进一步 提高 。 
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Research on image super-resolution algorithm based on improved convolutional neural network 


Hu Xiaohui, Zhang Jianguo 
(School of Electronics & Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China) 


Abstract: Aimed at the problems of over-fitting of mapping function and insufficient convergence of loss function in 
convolution neural network image super- resolution algorithm, combined existing vision recognition algorithm and depth 
learning theory, this paper proposed an improvement on it. Firstly, the original SRCNN network increased layer number 
from 3 to 13 layers, and proposed a form of self- gated activation function Swish to replace the usual network model Sigmoi, 
ReLU and other activation functions, and fully utilized the advantages of Swish function to effectively avoid Over-fitting 
problems, better to learn and use the mapping relationship between low-resolution and high-resolution images to guide 
image reconstruction. Then introduced the Newton-Raphson method into the traditional network loss function, which further 
accelerates the convergence speed. Finally, experiments show that the improved network model can effectively improve the 
image definition, and improve the visual effect and objective parameter evaluation index. 
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0 ”引言 像 放 大 倍率 的 增加 ， 超 分 辨 率 重 建 效果 不 太 理 想 。 由 于 重 
一 建 法 和 插值 法 存在 的 不 足 ， 研 究 人 员 逐 渐 开 始 关注 基于 学 习 
图 像 的 超 分 辩 率 复原 技术 于 20 世纪 60 年 代 ”的 方法 。 近 几 年 来 ， 随 着 深度 学 习 的 迅猛 发 展 ， 深 度 学 习 中 


《Super-resolution，SR) 被 提出 ， 且 当时 被 称 为 频谱 外 推 法 ， 的 各 类 智能 算法 及 神经 网 络 模型 被 广泛 应 用 到 了 图 像 超 分 辨 

r= 晶 并 未 得 到 一 致 的 认可 。 直 到 1984 年 ，Tsai 等 人 中 提 出 了 将 。 率 重 组 中 ， 这 些 方法 可 以 通过 使 用 图 像 数 据 库 或 图 像 本 身 建 
图 像 从 低 分 辨 率 复 原 到 单 帧 高 分 辨 率 ， 即 可 以 通过 信和 号 处 理 立 模型 ， 设 计 学 习 策 略 和 培训 模型 学 习 能 力 ， 主 动 学 习 或 碍 
的 方法 来 处 理 低 分 辨 率 图 像 ， 以 重建 成 像 系统 的 截止 频率 之 。 找 高 分 辨 率 图 像 和 低 分 辨 率 图 像 之 间 的 相关 信息 ， 最 后 ，:1 
外 的 高 频 信息 ， 这 样 可 以 恢复 成 像 过 程 中 的 高 频 信息 ， 实 现 “特定 功能 层 生 成 高 分 辩 率 图 像 。Chan 等 人 BI1 引 入 流 形 学 习 中 
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图 像 的 高 分 辩 率 重建 ， 之 后 该 研究 方向 开始 被 大 量 研究 人 员 局 部 线性 众 入 法 来 求 得 重建 图 像 加 权 平 均值 。 假 设 HR 信息 
重视 ， 现 已 成 为 一 个 研究 热点 0821。 和 相应 的 LR 信息 具有 几何 相似 性 ， 先 由 LLE 算法 计算 一 组 
在 目前 的 研究 领域 中 主要 有 和 重建， 插值， 学习 三 种 方法 最 优 线性 组 合 系数 ， 再 通过 对 样本 库 中 的 K 个 最 近邻 样本 
种 被 用 于 图 像 超 分 辩 率 重建 技术 。 基 于 重建 方法 的 图 像 超 分 ”LR 块 和 输入 LR 图 像 块 进行 加 权 平 均 而 获得 的 图 像 块 之 间 的 
辨 率 技术 使 用 单个 或 多 个 低 分 辩 率 (low resolution, LR) 轿 误差 被 最 小 化 ， 该 系数 组 直接 应 用 于 K 个 样本 中 的 HR 图 像 
像 来 重建 高 分 辨 率 (high resolution, HR ) 图 像 ， 该 方法 实质 块 ， 以 获得 高 频 信 息 。Yang 等 人 中 引 入 稀疏 编码 理论 6517 来 
是 建立 观测 模型 之 后 再 逆向 求解 最 终 实现 重组 ， 但 该 方法 是 建立 LR 到 HR 图 像 的 完备 字典 ， 再 使 先 验 约 束 条 件 进 一 步 
一 个 不 可 道 问题 且 重 组 结果 不 唯一 中， 因为 对 于 任何 给 定 的 稀疏 ,最 后 重建 并 得 到 SR 图 像 。Chang 等 人 鸣 提 出 基于 稀 跤 
氏 分 辩 率 图 像 都 可 能 存在 不 止 一 种 解 。 插 值 是 一 种 相对 基本 编码 网 络 的 超 分 辨 率 重建 方法 ， 提 出 了 一 种 基于 稀疏 编码 网 
的 方法 ， 最 经 典 的 方法 有 双 线 性 内 插 法 和 三 次 内 插 法 ， 它 们 络 的 超 分 辩 率 重建 方法 ， 该 方法 将 稀疏 表示 、 映 射 和 稀 玻 重 
都 是 直接 利用 图 像 的 先 验 信息 ， 再 通过 建立 数学 模型 的 方式 构 三 个 独立 模块 集成 到 稀疏 网 络 中 ， 然 后 通过 训练 该 网 络 使 
产生 预知 的 效果 ， 但 由 于 图 像 种 类 繁多 ， 该 方法 只 对 少 部 分 得 三 个 模块 被 协同 优化 后 再 重建 SR 图 像 。Wang 等 人 所 提出 
图 像 重 建 效果 明显 ， 对 于 大 多 数 图 像 的 实验 表明 ， 随 着 所 需 了 一 种 基于 稀疏 编码 网 络 的 SR 方法 ， 该 方法 首先 通过 特征 
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学 
提取 层 获得 图 像 的 稀疏 先 验 信息 。 然 后 ， 通 过 基于 学 习 的 迭 ” 息 ， 并 且 存 在 丢失 细节 信息 的 现象 的 问题 。 研 究 人 员 对 基于 
代 收 缩 和 闽 值 算法 建立 前 馈 神 经 网 络 SCN， 实 现 图 像 稀 疏 编 “，” 卷 积 神经 网 络 的 图 像 超 分 辩 率 改进 算法 [已 已 经 有 了 不 小 的 
码 和 人 解码， 最 后 通过 级 联网 络 完 成 图 像 放 大 。 该 方法 能 够 在 。 提升， 但 随 着 研究 的 深入 仍 能 作出 进一步 的 改进 。 本 文 基于 
更 高 放大 倍数 下 提高 PSNR， 且 算法 运行 速度 进一步 提升 。 Jog 内 扩容 省 祖 网 省 OMN 网 的 AE 让 下 全 
Gu 等 人 [9 将 卷 积 稀疏 编码 用 于 图 像 SR 重建 ,该 方法 表明 LR  ” 改进。 
放学 习 网 级 滤 y i 右 重 查 
和 HR 滤波 器 学 习 对 深度 学 习 网 络 滤波 器 组 的 设计 具有 重要 1 ”方法 与 理论 
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的 指导 意义 ， 有 助 于 保持 图 像 的 空间 信息 ， 提 高 重建 效果 。 

Dong 等 人 外 首次 提出 将 卷 积 神经 网 络 (convolutional neural 1.1 模型 建立 

network， CNN) 引入 到 超 分 辨 率 重建 问题 中 ，SRCNN 包含 本 文采 用 了 一 个 13 层 卷 积 神经 网 络 0 并 用 Swish 作为 
的 3 个 卷 积 层 分 别 是 图 像 块 提取 与 表征 、 非 线性 映射 和 最 后 。 激活 函数 ， 首 先 第 一 层 对 输入 图 像 使 用 

的 重建 ， 根 据 稀 琉 编码 和 特征 学 习 理 论 ， 实 现 由 LR 到 HR 双 立 方 插值 进行 预 处 理 , 使 其 能 达到 所 要 求 的 LR 图 像 ， 
图 像 之 间 的 端 到 端 学 习 过 程 ， 但 是 研究 人 员 发 现 SRCNN 很 其 次 由 于 Swish 适应 于 局 部 响应 归 一 化 ， 在 第 二 到 第 十 一 层 
难 训练 , 它 对 超 参 数 的 变化 非常 敏感 ,并 且 只 有 3 个 卷 积 层 ， 充分 结合 Swish 的 优势 对 LR 图 像 进行 特征 提取 得 到 LR 
还 有 很 多 地 方 有 待 改 善 。Yang 等 人 (0 提出 深度 边缘 指导 反馈 图 像 块 ， 然 后 第 十 二 到 十 三 层 通过 学 习 LR 与 HR 图 像 块 之 
残 差 网 络 的 方法 (DEGREE)， 该 方法 将 图 像 信号 分 解 成 不 同 闻 的 特征 映射 关系 来 得 到 HR 图 像 块 ， 最 后 通过 重 释 和 平均 


的 频带 并 重建 ， 然 后 再 进行 组 合 ， 这 样 可 以 保留 图 像 的 重要 ”方法 获得 重建 的 HR 图 像 。 网 络 结构 如 图 1 所 示 。 
细节 信息 ， 初 步 解 决 了 SRCNN 没有 完全 开发 图 像 的 先 验 信 
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特征 提取 非 线性 映射 重组 与 优化 


图 1 改进 SRCNN 算法 框架 
Fig.1 Improved SRCNN algorithm framework 


1.2 特征 提取 与 卷 积 操作 

经 典 神 经 网 络 模型 中 使 用 的 激活 函数 是 Sigmoid 函数 ， ¥ 
该 函数 来 自 于 神经 科学 理论 ， 主 要 是 模拟 了 神经 元 在 受到 刺 /w= 
激 时 接收 到 的 电信 号 达到 某 一 病 值 就 会 产生 兴奋 ， 它 有 着 强 / 
大 的 解释 能 力 。 然 而 , 在 实践 中 研究 者 们 很 少 使 用 到 Sigmoid 
函数 ， 因 为 使 用 Sigmoid 会 导致 网 络 状态 出 现 过 饱和 以 及 梯 
度 丢 失 。 一 旦 网 络 神经 元 的 活跃 度 在 0 和 1 处 达到 饱和 状态 ， 
那么 它 在 该 处 的 梯度 就 会 消失 ， 这 导致 几乎 没有 信号 通过 该 
神经 元 或 者 间接 通过 神经 元 的 所 有 信号 都 不 能 被 激活 .而 且 ， 图 2 ReLU 函数 
从 Sigmoid 函数 的 输出 图 像 可 知 其 并 不 是 以 零 作 为 中 心 点 ， Fig. 2 Relu function 
这 种 特殊 的 性 质 导 致 了 不 以 零 为 中 心 的 对 称 信息 输 被 送 到 后 F 是 针对 ReLU 函数 的 缺点 ， 本 文 提出 了 一 种 自 门 控 激 
曾 的 神经 网 络 高 层 处 理 ， 从 而 在 梯度 下 降 过 程 中 出 现 晃 动 。 活 函 数 形式 Swish 作为 激活 函数 ， 如 图 3 所 示 ， 在 式 (2) 中 
近年 来 ,在 深度 学 习 中 。ReLUD2I 代 蔡 Sigmoid 函数 ， 变 的 越 。” WW 是 卷 积 核 ，B1 是 偏 置 向 量 ,“*”* 表 示 卷 积 操作 ，Wi 的 尺寸 


ty 
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来 越 受 欢迎 ， 研 究 中 常 使 用 ReLU 作为 激活 函数 (函数 表达 ”大 小 为 c xfi1xf/，c 是 输入 图 像 的 通道 数 ，B 是 可 训练 的 参 
式 如 式 (1) 所 示 )， 因 为 从 计算 机 的 层面 上 来 说 ， 调 制 符 号 更 数 。 

加 便于 实践 ， 而 且 ReLU 函数 的 梯度 只 有 0 和 1 两 种 可 能 ， 由 于 ReLU 在 x<0 时 梯度 为 0, 这 样 就 导致 负 的 梯度 在 

十 分 简单 。 无 论 网 络 模型 的 层 如 何 变 化 ， 其 梯度 都 可 以 稳定 ”这 个 ReLU 被 置 零 ， 本 文 改进 的 激活 函数 将 大 于 零 与 小 于 零 

在 一 个 数量 级 上 ， 该 函数 图 像 如 图 2 所 示 。 的 数值 均 用 Swish 表示 ， 与 ReLU 不 同 ，Swish 激活 函数 同 

f (x) =max(0, x) (1) 时 具备 了 稀疏 、 非 单调 和 平滑 的 特性 ， 减 少 了 大 梯度 流 经 过 

在 实验 中 发 现 ， 与 sigmoid 函数 相 比 ， 使 用 ReLU 作为 时 可 能 出 现 神经 元 不 被 激活 的 现象 。 当 Swish 函数 处 于 x<0 


激活 函数 获得 的 SGD 的 收敛 速度 比 Sigmoid 函数 快 得 多 。 时 ， 随 着 x 的 值 不 断 减 小 ， 梯 度 无 限 接近 零 ， 但 它 不 会 等 
ReLU 只 需要 一 个 阔 值 来 获取 激活 值 ， 而 不 需要 经 过 大 量 复 0， 故 而 不 会 出 现 神 经 元 坏死 的 情况 。 此 外 ，Swish 是 一 种 自 
杂 的 操作 。 但 是 当 一 个 非常 大 的 梯度 流 过 ReLU 神经 元 时 ， 动 门 控 激活 函数 形式 。 自 门 控 激活 函数 有 着 特殊 的 优势 ， 与 
在 更 新 参数 后 ， 它 将 导致 神经 元 不 激活 任何 数据 。 那 么 这 个 。” 正常 的 门 控 需要 多 个 标量 作为 输入 相 比 ， 它 只 需要 把 单个 的 
神经 元 的 梯度 就 永远 都 会 是 0， 而 且 经 过 此 神经 元 的 梯度 将 。” ”标量 作为 输入 。 该 特性 足以 让 以 单个 标量 作为 输入 的 激活 函 
永 不 被 激活 ， 数 据 流 在 不 可 逆 的 训练 期 间 会 发 生 关 闭 现象 。 数 ReLU 轻松 被 自 门 控 激活 函数 Swish 代替 ， 而 无 须 再 去 调 
于 交 二 本 4 1 0) 整 参数 的 隐藏 容量 或 数量 。 实 验 结果 表明 ， 当 增 大 到 一 定数 
值 后 ， 运 行 结果 达到 了 预期 的 效果 ， 证 实 了 Swish 函数 的 实 


1 + e-PW*X+B) 
用 性 。 
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图 3 Swish 函数 
Fig.3 Relu function 


1.3 非 线 性 映射 
在 整个 模型 9 中 ， 第 一 层 在 网 络 中 的 作用 是 对 每 块 LR 
图 像 进行 特征 提取 操作 。 第 二 到 第 十 一 层 的 作用 是 对 提取 的 
特征 图 进行 非 线性 映射 ， 其 数学 表达 式 由 式 (3) 表 示 ， 鹏 是 
卷 积 核 , B; 是 偏 置 向 量 。 如 果 有 ni 维 向 量 通过 了 非 线 性 映射 ， 
则 就 会 得 到 n; 维 向 量 ， 即 LR 特征 图 像 块 通过 端 到 端 学 习 理 
论 得 到 了 HR 图 像 块 。 如 果 存 在 N 个 卷 积 核 ， 则 在 卷 积 之 后 
就 会 产生 N 个 用 于 重建 的 高 分 辩 率 图 像 块 。 
B= WX + Bh) AT (3) 

1.4 图 像 重建 
式 (4) 中 1 可 视 为 一 个 均值 滤波 器 ，B3 为 一 个 维 数 为 c 
的 偏 置 向 量 。 在 进行 非 线性 特征 映射 后 ， 可 以 获得 HR 图 像 
块 。 本 文通 过 预测 重 赤 HR 图 像 块 ， 而 后 使 用 平均 的 方法 来 
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本 数据 中 第 i 个 数据 的 准确 值 , 而 yx 为 CNN 网 络 中 所 给 出 的 
预测 值 。 均 方 误差 损失 函数 是 一 种 较为 简单 有 效 的 用 来 度量 
平均 误差 的 方法 ， 均 方 误 差 损失 函数 能 够 用 作 评 估 数 据 的 变 
动 程度 ， 当 均 方 误差 损失 函数 的 值 越 小 时 ， 就 说 明 该 预测 模 
型 在 描述 训练 样本 时 拥有 更 好 的 准确 度 。 实 验 结果 表明 当 使 
用 Swish 作为 激活 函数 时 使 用 均 方 误差 损失 函数 具有 较 好 预 
测 效 果 。 均 方 误差 损失 函数 如 图 4 所 示 。 


T 


Range of predicted values: (-10,000 to 10,000) | True value: 100 
le8 


~10000 -7500 -5000 -2500 0 2500 5000 7500 10000 
Predictions 


图 4 均 方 误差 损失 函数 图 像 
Fig.4 Mean square error loss function image 
最 小 化 误差 平方 和 问题 通常 通过 梯度 下 降 法 来 解决 ， 梯 
度 下 降 法 是 通过 找到 梯度 下 降 最 快 的 方向 而 获得 训练 的 网 络 
参数 ， 梯 度 下 降 法 有 两 种 方法 被 广泛 应 用 ， 一 种 是 是 批量 梯 
度 下 降 法 053， 其 数学 表达 式 如 式 〈7) (8) 所 示 ， 其 中 a 表 


得 到 最 终 完整 的 高 清 图 。 在 此 过 程 中 可 以 设计 了 一 个 卷 积 层 
生成 最 终 的 高 分 辩 率 图 像 ， 然 而 平均 的 方法 可 以 看 做 是 一 个 
在 特征 图 上 预先 定义 的 滤波 器 。 

F(X)=W*E(X)+D, (4) 


1.5 训练 与 优化 

传统 的 神经 网 络 均 采 用 了 全 连接 的 方式 ， 即 输入 层 到 隐 
藏 层 的 神经 元 都 是 连通 的 ,这 将 会 产生 巨大 的 参数 量 。 另 外 ， 
这 也 使 得 网 络 的 训练 及 其 耗 时 甚至 是 难以 训练 ， 而 且 CNN 
学 习 算 法 必须 通过 训练 多 层 网 络 结构 来 实现 最 优化 的 网 络 模 


示 步 长 ， 给 定 图 像样 本 对 的 样本 数据 集 是 全 和 1x3.…xn}，X 
表示 第 i 类 图 像 的 样本 集 ， 共 有 m 个 样本 。 该 方法 需要 在 更 
新 参数 时 使 用 所 有 样本 数据 更 新 计算 ,计算 精度 相对 提高 。 


0 
W=W—-a—J(W.,b 
i i aw "( ? ) (7) 


1 过 J 
W = W; -olG (x )—y]x (8) 


另 一 种 方法 是 随机 梯度 下 降 法 09, 其 数学 表达 式 如 式 (9) 
所 示 ， 该 方法 的 特点 是 在 求解 梯度 时 只 选择 一 个 样本 来 求 梯 


型 。 而 CNN 的 主要 思想 就 是 通过 把 局 部 感受 野 ， 权 值 共 享 
以 及 时 间或 空间 亚 采样 这 三 种 思想 结合 在 一 起 ， 以 获得 了 某 
种 程度 的 位 移 、 尺 度 、 形 变 不 变性 来 避免 这 一 困难 。 一 个 典 
型 的 CNN 结构 看 起 来 是 这 样 的 : 输入 一 卷 积 一 激活 函数 一 
卷 积 一 激活 函数 一 池 化 一 激活 函数 一 卷 积 一 激活 函数 一 池 化 


一 全 i 


2 村 接 。 


I 


度 ， 这 样 做 可 以 减少 训练 时 间 。 

W=W -ec 二 [GuwCoO-y]x (9) 
本 文 经 过 多 次 实验 发 现 梯度 下 降 法 在 计算 过 程 中 往往 会 遇 到 
局 部 最 优 解 问题 051。 批 量 梯度 下 降 法 采用 所 有 样本 来 达到 梯 
度 下 降 的 目的 ， 这 样 会 导致 在 样本 量 很 大 的 情况 下 使 训练 速 


CNN 学 习 算法 需要 重 构 误差 , 并 不 断 校正 前 向 传播 与 反 
向 传播 过 程 中 的 连接 权 值 和 偏 置 ， 更 新 网 络 参数 ， 从 而 使 得 
整个 网 络 参数 最 优化 。 前 向 传播 本 质 上 就 是 特征 信息 的 传递 ， 
这 与 普通 神经 网 络 的 前 向 传播 过 程 没 有 差异 。 当 前 层 用 1 表 
示 ， 当 前 层 的 输出 x 表示 ， 当 前 层 的 权 值 和 偏 置 分 别 用 w' 和 
b' 表 示 ， 则 前 向 传播 可 以 表示 为 

XxX! = f(u'),u =W'xT+b! (5) 

其 中 函数 /0 为 激活 函数 ， 本 文选 择 Swish 函数 。 
反 向 传播 则 是 通过 误差 信息 校正 模型 参数 。 在 反 向 传播 
的 过 程 中 ， 要 从 缩小 后 区 域 的 误差 ， 还 原 前 一 层 较 大 区 域 的 
误差 , 这 个 过 程 叫做 upsample。CNN 中 损失 函数 有 较 多 形式 ， 
例如 均 方 误差 损失 函数 和 交叉 炳 损失 函数 ,这 些 都 比较 常用 。 
其 目标 就 是 求 得 每 个 单元 的 残 差 ， 并 且 每 个 子 函数 又 可 以 分 
别 求 得 其 相应 输出 单元 的 残 差 ， 本 文 用 均 方 误差 函数 作为 损 
失 函 数 ， 如 式 (6) 所 示 。 


1 on 
Loss(y, = (6) 


以 上 的 公式 描述 了 样本 mn 的 训练 误差 ， 其 中 ”为 一 批 样 


度 变 慢 ， 而 随机 梯度 下 降 法 由 于 每 次 仅 采 用 一 个 样本 进行 迭 
代 ， 训 练 速 度 较 快 ， 但 因为 随机 梯度 下 降 法 仅 抽 取 一 个 样本 
来 决定 梯度 方向 ， 这 样 做 会 造成 所 得 到 的 解 可 能 不 是 全 局 最 
优 解 。 从 收敛 速度 来 考虑 ， 随 机 梯度 下 降 法 一 次 只 迭代 一 个 
样本 ， 和 迭代 方向 变化 很 大 ， 不 能 快速 收敛 到 局 部 最 优 解 。 如 
何 合理 选择 梯度 计算 方法 是 提高 网 络 学 习 速 率 的 关键 所 在 
09。 针 对 批量 梯度 下 降 法 和 随机 梯度 下 降 法 等 梯度 下 降 法 的 
不 足 , 最 终 本 文 另 辟 思 路 引入 Newton-Raphson 友 代 法 的 概念 。 
Newton-Raphson 办 代 法 是 二 阶 收 敛 ， 梯 度 下 降 是 一 阶 收敛 ， 
所 以 Newton-Raphson 和 连 代 法 就 更 快 ， 几 何 上 说 ， 
Newton-Raphson 从 代 法 就 是 用 一 个 二 次 曲面 去 拟 合 当前 所 
处 位 置 的 局 部 曲面 ， 梯 度 下 降 法 使 用 平面 来 拟 合 当前 的 局 部 
表面 ， 通 常情 况 次 曲面 的 拟 合 会 比 平面 效果 更 优 ， 所 以 
Newton-Raphson 从 代 法 选择 的 下 降 路 径 会 更 符合 真实 的 最 
优 下 降 路 径 。 如 图 5 所 示 。 其 中 A 表示 Newton-Raphson 迭 
代 法 的 迭代 路 径 ，B 表示 梯度 下 降 法 的 迭代 路 径 。 
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的 数值 越 大 ， 说 明 失 真 越 小 。SIMM 的 数值 越 通 近 了 
E 后 的 图 像 结构 与 原始 图 结构 极为 近似 ， 表 明生 成 的 结 


图 5 Newton-Raphson 迭代 法 与 梯度 下 降 法 对 比 


Fig.5 Comparison between Newton-Raphson iteration method and 


gradient descent method 


Newton-Raphson 迭代 法 要 比 梯度 下 降 法 具有 更 多 的 全 


局 判断 能 力 ， 梯 度 下 降 法 从 初 


ChinaXiv 合 作 期 刊 


第 37 


明 处 
果 图 像 越 好 。 
PSNR 表达 式 计算 如 下 : 
MSE = YX DY Dy 


i=1 j=l 


PswR-l0mgu| Si ) 


MSE 


HP， 


比特 值 ， 一 般 取 值 为 8。 


SSIM 表达 式 如 下 : 
SSIM (x, y) (CH + ci)20% + C2) 
(e+ 人 +c)(acz+a?+c) 
其中 ， 公 为 的 平均 值 ， 必 为 ?的 平均 值 ， 字 为 > 


始点 的 区 域 开始 预 判 ， 并 在 局 


部 进行 下 降 ， 之 后 步 步 向 极 值 


通 近 ， 通 常 走 的 是 之 字 型 。 在 


卷 第 4 期 
F 1， 说 


(10) 


4D) 


五 与 W 分 别 表 示 图 像 的 高 度 和 宽度 ，7 为 每 个 像素 的 


(12) 
的 方差 ， 


中 为 》 的 方差 ， 0 为 x 与 》 的 协 方差 ， 4 = DD)? 、c6= (4D? 


二 阶 导数 的 作用 下 , Newton-Raphson 迭代 法 直接 搜索 如 何 从 


函数 的 凸 性 到 达 极 值 点 。 也 就 
虑 当前 斜率 是 否 足够 大 ， 而 且 


是 说 ， 在 选择 方向 时 ， 不 仅 考 
还 会 考虑 在 走 了 一 步 之 后 ， 和 斜 


率 是 否 会 变 得 更 大 。 从 收敛 速度 来 看 ,梯度 


Newton-Raphson 和 迭代 法 是 超 


以 及 随机 梯度 下 降 法 准确 性 不 


降 是 线性 收敛 ， 
至 少 是 二 阶 收 全 。 


线性 的 ， 


L 为 像素 的 动态 范围 ，% 


两 个 变量 用 来 维持 稳定 ， 
护 =0.03 为 默认 值 。 
在 实验 中 本 文 使 用 


=0.01 与 


Swish 函数 以 及 基于 Newton-Raphson 


迭代 法 的 误差 函数 与 批量 梯度 下 降 法 在 set14 测试 集 进 行 比 


较 ， 将 重建 的 高 分 辨 率 图 像 的 平均 PSNR 值 绘制 成 


线 图 ， 


Newton-Raphson 迭代 法 可 以 解决 批 梯度 下 降 法 训练 速度 慢 ， 


足 问 题 ， 但 对 于 不 同 的 卷 积 神 


经 网 络 还 是 有 一 定 的 局 限 性 ， 


只 能 通过 实验 结果 来 进行 超 参 


数 调整 ,不 过 针对 于 以 往 的 梯度 下 降 法 已 经 有 


了 很 大 改进 (如 


图 6 所 示 ， 原 SRCNN 模型 采 


随机 梯度 下 降 法 )， 它 的 引入 


使 得 原 SRCNN 网 络 收敛 速度 


变 快 ， 减 小 了 采用 以 往 梯 度 下 


降 方法 时 产生 的 较 大 的 振荡 ， 
时 间 变 短 。 


上 是 学 习 速 率 得 到 了 提高 ， 训 练 


Test Loss 


10 15 


lteration thousand 


图 6 在 set6 测试 集 上 , 随 着 迭代 系数 的 增加 ,不 同方 法 的 Test 


| 线 图 


Loss 


Fig.6 Test set 6, the Test Loss curves of different methods are 


increased with the increase of iteration coefficients 


2 ”实验 结果 与 分 析 
本 文 的 评估 实验 在 Intel 


Core™ i7-8500YCPU @4.20 


GHz，GPU 为 NVIDIA GTX1070Ti05， 内 存 为 12 GB。 实验 


(DEGREE)U0、SRCNN 算法 ， 
测试 。 采 
据 集 被 广泛 用 于 众多 的 单 幅 图 
为 验证 本 文 所 提 算 法 的 


] ImageNet 数据 库 中 的 90 幅 图 像 进行 训练 ， 该 数 


平台 搭载 的 操作 系统 为 64 位 Ubuntu18.04.1 LTS、MATLAB 
R2016b、CUDA10.0 和 OpenCV 3.2.0。 本 文选 用 经 
插值 方法 (BI)、 深 度 边缘 指导 反馈 残 差 网 络 方法 


双 三 次 


改进 的 SRCNN 算法 进行 对 比 


像 超 分 辨 率 方法 的 测试 中 。 
效果 ， 本 文采 用 峰值 信 噪 比 


(PSNR ) 和 结构 化 相似 度 (SSIM) 来 评估 改进 的 网 络 。PSNR. 


是 对 已 处 理 图 像 与 原始 图 像 2 


间 的 误差 进行 定量 计算 ,PSNR 


如 图 7 所 示 。 


弟 一 于 一 各 一 条 一 扫 一 小 一 玉 一 内 一 修一 出 一 条 


24 上 一 一 | 上 一 一 

从 站 站 商号 站 而 
lteration/104 

图 7 在 set14 上 不 同 算法 的 PSNR(dB) 平 均值 


其 实验 结果 充分 说 明 本 文 对 SRCNN 网 络 的 改进 有 明显 效果 ， 


Fig.7 PSNR (dB) averages of different algorithms on set14 


为 了 更 加 充分 地 说 明 本 文中 所 使 / 


进程 度 ， 本 文 又 分 别 将 改进 算法 使 用 


的 Swish 函数 和 基于 
Newton-Raphson 和 友 代 法 的 误差 函数 分 别 对 网 络 有 多 大 的 改 
Swish 函数 单独 与 对 比 


基于 


算法 在 setl4 测试 集中 进行 比较 以 及 再 使 


Newton-Raphson 从 代 法 的 误差 函数 单独 与 对 比 算法 在 set14 


测试 集中 进行 比较 ， 实 验 结果 表明 本 文 算 法 使 
和 Newton-Raphson 迭代 法 均 使 改进 算法 效果 有 所 提 
图 8、9 所 示 ， 但 比较 图 7 会 发 现 同 时 使 用 Swish 
Newton-Raphson 迭代 法 效果 最 好 。 


] Swish 函数 


升 , 如 果 
函数 和 


25 记 一 
245 + +- -+ + + 
24 
5 15 25 5 45 55 65 75 
lteration/ 104 
图 8 在 set14 上 改进 算法 仅 使 用 Swish 与 其 他 算法 对 比 的 PSNR(dB) 
平均 值 
Fig.8 Improved algorithm on set14 uses the PSNR (db) mean value of 


Swish compared with other algorithms 
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图 9 在 set14 上 改进 算法 仅 使 用 Newton-Raphson 迭代 法 与 其 他 算 
法 对 比 的 PSNR(dB) 平 均值 
Fig.9 Improved algorithm on set14 uses only the Newton-Raphson 


iterative method to compare the PSNR (dB) average with other 
algorithms 

以 上 实验 结果 已 经 从 PSNR 平均 值 说 明了 改进 算法 的 良 
好 效果 ,为 了 再 一 次 更 好 的 说 明 改 进 后 的 网 络 相 对 于 SRCNN 
网 络 、DEGREE 网 络 的 有 效 提高 ， 本 文 在 set$ 和 set14 测试 
集 进行 测试 实验 ， 其 结果 同样 得 到 了 有 效 提升 ,结果 如 表 1 所 示 。 

表 1 不 同 图 像 的 SSIM 值 
Table ] SSIM values of different images 


Image BI SRCNN DEGREE 本 文 算法 
Butterfly 0.8216 0.8715 0.8872 0.9052 
Baboon 0.9256 0.9388 0.9491 0.9579 
Baby 0.9226 0.9406 0.9497 0.9543 
Bird 0.8896 0.9142 0.9239 0.9316 
Pepper 0.8978 0.9102 0.9186 0.9235 
Lenna 0.8993 0.9137 0.9205 0.9311 


图 10~13 使 用 四 种 算法 对 4 幅 测 试图 像 分 别 进行 处 理 ， 
从 结果 中 可 以 看 出 DEGREE、SRCNN 和 本 文 算法 均 优 于 传 
统 的 插值 算法 ， 说 明了 基于 学 习 的 重组 算法 有 着 显著 优势 ， 


在 图 中 本 文 分 别 对 独 独 、 闵 椒 、 莱 纳 、 鸟 的 局 部 进行 放大 ， 

BI 算法 处 理 效 果 较 模糊 ， 边 缘 也 不 清晰 ， 图 11 和 13 的 辣椒 
局 部 和 鸟 眼睛 周围 效果 十 分 不 理想 。 SRCNN 算法 、DEGREE 
算法 的 实验 结果 相 比 BI 算 法 有 了 提升 ,略微 能 看 清 细 节 的 边 
缘 ， 但 与 本 文 提 出 的 改进 算法 相 比较 ， 本 文 算法 在 细节 处 理 
的 地 方 更 加 清晰 ， 边 缘 保 持 方面 更 加 完整 ， 图 像 锐 度 明显 更 
强 。 因 为 改进 后 的 算法 相对 于 原 有 的 SRCNN 算 
法 学 习 到 了 更 加 细微 的 高 频 信息 ， 从 而 提高 了 图 像 的 重建 质量 。 


(b)DEGREE 


(OSRCNN 
图 10 不 同 算法 对 baboon 的 处 理 结 


Fig. 10 Processing results of different algorithms for baboon 


(d)The proposed 
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晶 本 文 所 提出 的 改进 算法 在 图 像 边缘 有 着 更 好 更 明显 的 效果 。 
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(b)SCSR 


(c)SRCNN (d)The proposed 
图 11 不同 算法 对 pepper 的 处 理 结果 


Fig. ll Processing results of different algorithms for pepper 


(c)SRCNN (d)The proposed 
图 12 不 同 算法 对 lenna 的 处 理 结果 


Fig. 12 Processing results of different algorithms for lenna 


(OSRCNN 


(d)The proposed 
图 13 不同 算 法 对 bird 的 处 理 结果 


Fig. 13 Processing results of different algorithms for bird 
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3 ”结束 语 


本 文通 过 理论 分 析 了 CNN 网 络 的 学 习 和 训练 过 程 ， 并 
在 原 有 网 络 的 基础 上 对 其 使 用 的 映射 函数 (ReLU ) 和 梯度 下 
降 法 来 重建 图 像 的 局 限 性 进行 了 解析 ， 通 过 实践 研究 提出 了 
新 的 映射 函数 (Swish) 和 损失 函数 ， 最 终 利 用 实验 在 标准 测试 
Set5 和 Set14 上 的 进行 验证 ， 实 验 结果 证 明了 本 文 改进 的 
算法 相对 于 其 他 算法 有 显著 提升 ， 并 在 主观 视觉 评价 和 客观 
参数 量化 上 取得 了 优秀 表现 。 
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